[{"img":"https://dkaplayground.ad.oszk.hu/124900/124975/kerteszgabor_gepi_tanulas_az_ELKH_Cloudon.jpg","title":"Gépi tanulás az ELKH Cloudon","description":"Gépi tanulás az ELKH Cloudon Gépi tanulás az ELKH Cloudon\r
Kertész Gábor\r
tudományos munkatárs, SZTAKI-LPDS\r
A gépi tanulás hardveres követelményei\r
Gépi tanulás\r
Olyan megoldások, amelyeknél a működés, a teljesítmény tapasztalatszerzés által javul: tanulásra képes rendszerek\r
Mesterséges neurális háló\r
Döntési fa\r
Regressziós modellek\r
Támasztó-vektor gép (SVM)\r
Bayes hálók\r
Genetikus algoritmus\r
KNN\r
K-means\r
Gépi tanulás\r
Jellemzően két nagy csoportra szokás bontani:\r
Felügyelt tanulás\r
Felügyelet nélküli tanulás\r
Felügyelt tanulás esetén rendelkezésre állnak olyan tanítóminták, ahol ismert az elvárt kimenet is, így tanításkor mérhető a pontosság.\r
Felügyelet nélküli tanítás esetén címkézetlen adatok közötti összefüggések felismerése a cél, amely jellemzően csoportosítást, klaszterezést jelent.\r
Data-driven\r
A gépi tanulás adatvezérelt: több tanítóminta jobb modelleket eredményez\r
A nagy mennyiségű adat kezelése többszintű kihívás: \"Big Data\"\r
Nagy mennyiségű adat tárolása, kezelése, feldolgozása\r
Maga a feladat is nagy számításigényű\r
Felhők, szuperszámítógépek szükségesek\r
Mély Neurális Hálózatok\r
Mély Neurális Hálózatok\r
A mély hálózat több rétegből áll, a rétegekben nagy számban vannak tanítható paraméterek\r
Akkor teljesít kiemelkedően, ha nagy számú tanítóminta áll rendelkezésre (Big Data)\r
Ha nincs elégséges számú tanítóminta, akkor lehet hogy a tanítási adatokra túlságosan illeszkedni fog a modell, és így nem általánosít majd jól (overfitting)\r
A tanítás folyamata így memóriaigényes, és a számítási komplexitás magas\r
A mély tanulás költséges\r
Háttértár\r
Tanítóminták tárolására\r
A tárterület mellett az elérési idő is számít!\r
Memória\r
A modell paramétereinek\r
A tanítási lépés ideiglenes változóinak\r
Az aktuális tanítómintáknak\r
Számítási komplexitás\r
Rengeteg lépés\r
A mély tanulás számítási komplexitása\r
A tanítás folyamata memóriaigényes, és a számítási komplexitás magas\r
A feladat azonban nagyszerűen párhuzamosítható multiprocesszoros környezetben, kifejezetten GPU gyorsítókkal\r
A mini batcheken alapuló backpropagation algoritmust lehetséges adatpárhuzamosan implementálni\r
Erre nagyszerű eszköz a grafikus gyorsító, amely több ezer műveletvégző egységgel rendelkezik\r
A 2010-es évek elején jelentek meg az első GPGPU-implementációk\r
A hardvergyártók esetenként már dedikáltan multiprocesszoros feldolgozásra terveznek eszközöket\r
Nem grafikai renderelésre, hanem kutatáshoz készülnek\r
Ezen költséges eszközök beszerzése helyett felhő alapú, igény szerint történő felhasználásuk a logikus\r
A mély tanulás költséges!\r
Tárhely\r
Memória\r
GPU\r
Tápegység\r
Hűtés\r
Modern gépi tanulás a felhőben\r
Framework\r
TensorFlow, Keras, Pytorch\r
Python alapú keretrendszerek\r
TensorFlow\r
Google Brain csapat által fejlesztett Python (C++, JS) függvénykönyvtár adatfolyam programozáshoz\r
2015 novemberében publikálták először\r
CPU/GPU támogatás, több platformon\r
Keras\r
Felismerve, hogy a TensorFlow (és más frameworkok) jellemzően alacsony szintű hozzáférést adnak a fejlesztőknek, megjelent az igény a magas szintű APIkra\r
\"Being able to go from idea to result with the least possible delay is key to doing good research.\"\r
Francois Chollet, a Google mérnöke 2015 óta fejleszti\r
Felső rétegként használható több framework felett is, például TensorFlow is alkalmazható mint Keras backend\r
TensorBoard\r
Egy gyakran használt eszköz a fejlesztés támogatására\r
Webes felületen követhető a modell tanítása során a különböző paraméterek változása, de a modell architekturája is vizualizálható\r
Jupyter\r
Jupyter Notebook\r
Interaktív webes felületű környezet\r
Jupyter Lab\r
Komplett fejlesztőkörnyezet\r
Jupyter Hub\r
Multi-user környezet\r
Referencia architektúrák @ ELKH Cloud\r
A felhasználást segítő szolgáltatások referencia architektúrák formájában vannak megadva\r
Occopus orkesztrációs eszköz segítségével kiépíthető a kívánt környezet\r
Tensorflow & Keras, Jupyter Notebook / Jupyter Lab\r
Külön GPU-enabled verzió\r
https://science-cloud.hu/jupyterlab\r
Elosztott gépi tanulás a felhőben\r
GPU feldolgozás\r
A modell paraméterei és a tanítóminták az eszközre másolódnak, majd a mátrixműveletek párhuzamosan kerülnek végrehajtásra\r
Több GPU használatával a feldolgozás ideje elvben csökkenthető\r
Adatok szerinti felbontással az egyes gyorsítók a különböző részhalmazzal tanítják a modelljük másolatát\r
Azonban ekkor a GPU-k közötti kommunikáció lesz a szűk keresztmetszet, a paraméterek frissítésekor\r
Elosztott feldolgozás\r
A fizikai korlátok elérésekor érdemes elgondolkodni a horizontális skálázáson, azaz a feladat részfeladatokra bontásán és elosztott feldolgozásán\r
A backpropagation algoritmus esetén sajnos ez nem triviális\r
Az adatdekompozíción alapuló megközelítés népszerű, és könnyen implementálható\r
A modellről másolatok készülnek klaszter minden elemére\r
Minden állomáson lezajlik a tanítás egy-egy kötegnyi tanítómintán\r
A kiszámolt gradiensek megosztásra kerülnek egymással, a súlyparaméterek együtt kerülnek módosításra\r
Elosztott mély tanulás\r
Az elosztott mély tanulás sarokpontja a kommunikáció\r
A gradiensek cseréje és a paraméterek módosítása költséges is lehet\r
Nagyobb, mélyebb modell több paramétert jelent, amely nagyobb átviteli költséget eredményez\r
Léteznek megoldások, amelyek magas hatékonyságot ígérnek a skálázáshoz \r
Mély tanulási klasztert nem érdemes saját eszközökből kialakítani, az idő jelentős részében kihasználatlan lenne - éppen erre jó a felhő\r
Apache Spark MLlib\r
További, nem mély neuronhálókon alapuló gépi tanulási megoldásokra\r
Skálázható megoldás, felhőben kiépíthető számítási klaszterekre\r
Az ELKH Cloud weboldalán elérhető referencia architektúrák között részletes leírás található Apache Spark klaszter telepítéséről Python vagy R fejlesztői környezettel\r
Összefoglalás\r
Gépi tanulás\r
Nagy memória és számításigényű feladat, speciális eszközökkel hatékony\r
Költségek\r
Grafikus gyorsítók és szerverek költségesek, kihasználatlanság esetén nem gazdaságos ezeket beszerezni\r
Üzemelttetés, fenntartás, karbantartás, fejlesztés\r
ELKH Cloud\r
Felhő alapú tanítás, hatékony választás minden szempontból\r
Elosztott gépi tanulás\r
Szolgáltatástámogatás, referencia architektúrák\r
Tensorflow, Jupyter\r
Apache Spark, Jupyter / RStudio\r
Köszönöm a figyelmet!\r
kertesz.gabor@sztaki.hu magyar","topics":["mesterséges intelligencia","tanulás","rendszer","felhő alapú szolgáltatás","neurális hálózat"],"id":"124975"}]

#neurális hálózat

Gépi tanulás az ELKH Cloudon